通过动态散射介质进行非侵入性光学成像具有许多重要的生物医学应用,但仍然是一项艰巨的任务。尽管标准弥漫成像方法测量光吸收或荧光发射,但也良好的是,散射的相干光的时间相关性通过组织像光强度一样扩散。然而,迄今为止,很少有作品旨在通过实验测量和处理这种时间相关数据,以证明去相关动力学的深度组织视频重建。在这项工作中,我们利用单光子雪崩二极管(SPAD)阵列摄像机同时监视单photon水平的斑点波动的时间动力学,从12种不同的幻影组织通过定制的纤维束阵列传递的位置。然后,我们应用深度神经网络将所获得的单光子测量值转换为迅速去摩擦组织幻像下散射动力学的视频。我们证明了重建瞬态(0.1-0.4s)动态事件的图像的能力,该动态事件发生在非相关的组织幻影下,并以毫米级分辨率进行重构,并突出显示我们的模型如何灵活地扩展到埋藏的phantom船只内的流速。
translated by 谷歌翻译
Nowadays, copy detection patterns (CDP) appear as a very promising anti-counterfeiting technology for physical object protection. However, the advent of deep learning as a powerful attacking tool has shown that the general authentication schemes are unable to compete and fail against such attacks. In this paper, we propose a new mathematical model of printing-imaging channel for the authentication of CDP together with a new detection scheme based on it. The results show that even deep learning created copy fakes unknown at the training stage can be reliably authenticated based on the proposed approach and using only digital references of CDP during authentication.
translated by 谷歌翻译
Motion prediction systems aim to capture the future behavior of traffic scenarios enabling autonomous vehicles to perform safe and efficient planning. The evolution of these scenarios is highly uncertain and depends on the interactions of agents with static and dynamic objects in the scene. GNN-based approaches have recently gained attention as they are well suited to naturally model these interactions. However, one of the main challenges that remains unexplored is how to address the complexity and opacity of these models in order to deal with the transparency requirements for autonomous driving systems, which includes aspects such as interpretability and explainability. In this work, we aim to improve the explainability of motion prediction systems by using different approaches. First, we propose a new Explainable Heterogeneous Graph-based Policy (XHGP) model based on an heterograph representation of the traffic scene and lane-graph traversals, which learns interaction behaviors using object-level and type-level attention. This learned attention provides information about the most important agents and interactions in the scene. Second, we explore this same idea with the explanations provided by GNNExplainer. Third, we apply counterfactual reasoning to provide explanations of selected individual scenarios by exploring the sensitivity of the trained model to changes made to the input data, i.e., masking some elements of the scene, modifying trajectories, and adding or removing dynamic agents. The explainability analysis provided in this paper is a first step towards more transparent and reliable motion prediction systems, important from the perspective of the user, developers and regulatory agencies. The code to reproduce this work is publicly available at https://github.com/sancarlim/Explainable-MP/tree/v1.1.
translated by 谷歌翻译
在游戏中,就像在其他许多领域一样,设计验证和测试是一个巨大的挑战,因为系统的大小和手动测试变得不可行。本文提出了一种新方法来自动游戏验证和测试。我们的方法利用了数据驱动的模仿学习技术,这几乎不需要精力和时间,并且对机器学习或编程不了解,设计师可以使用该技术有效地训练游戏测试剂。我们通过与行业专家的用户研究一起研究了方法的有效性。调查结果表明,我们的方法确实是一种有效的游戏验证方法,并且数据驱动的编程将是减少努力和提高现代游戏测试质量的有用帮助。该调查还突出了一些开放挑战。在最新文献的帮助下,我们分析了确定的挑战,并提出了适合支持和最大化我们方法实用性的未来研究方向。
translated by 谷歌翻译
没有全面的指标来描述多对象跟踪(MOT)序列的复杂性。缺乏指标可降低解释性,使数据集的比较变得复杂,并将跟踪器绩效的对话降低到排行榜位置的问题。作为一种补救措施,我们介绍了新型的MOT数据集复杂度度量(MOTCOM),该度量是由MOT中的关键问题启发的三个子计量学的组合:闭塞,运动不稳定和视觉相似性。MOTCOM的见解可以开放有关跟踪器性能的细微讨论,并可能导致对鲜为人知的数据集或旨在解决子问题的新颖贡献的更广泛认可。我们在综合MOT17,MOT20和Motsynth数据集上评估了MOTCOM,并表明MOTCOM在描述与传统密度和轨道数量相比描述MOT序列的复杂性要好得多。项目页面https://vap.aau.dk/motcom
translated by 谷歌翻译
复制检测模式(CDP)是一项有吸引力的技术,可让制造商捍卫其产品免受伪造。CDP保护机制背后的主要假设是,由于数据处理不平等,无法复制或克隆工业打印机上的最小符号大小(1x1)的代码。但是,以前的作品表明,基于机器的攻击可以产生高质量的假货,从而基于传统的基于功能的身份验证系统的身份验证准确性降低。虽然深度学习(DL)可以用作身份验证系统的一部分,但据我们所知,以前的作品都没有研究基于DL的身份验证系统,反对基于ML的攻击具有1x1符号的CDP攻击尺寸。在这项工作中,我们研究了假设有监督学习(SL)设置的表现。
translated by 谷歌翻译
尽管受到监督的深度学习彻底改变了语音和音频处理,但它必须为个人任务和应用程序方案建立专业模型。同样,很难将其应用于仅可用标记数据的方言和语言。自我监督的代表学习方法承诺一个单一的通用模型,该模型将使各种各样的任务和领域受益。这种方法已显示出在自然语言处理和计算机视觉域中的成功,在减少许多下游场景所需的标签数量的同时,达到了新的性能水平。语音表示学习在三个主要类别中也经历了类似的进展:生成,对比和预测方法。其他方法依赖于多模式数据,用于预训练,将文本或视觉数据流与语音混合。尽管自我监督的语音表示仍然是一个新生的研究领域,但它与用零词汇资源的声学单词嵌入和学习密切相关,这两种资源已经进行了多年的积极研究。这篇评论介绍了自我监督的语音表示学习及其与其他研究领域的联系的方法。由于许多当前的方法仅集中在自动语音识别作为下游任务上,因此我们回顾了基准测试的最新努力,以将应用程序扩展到语音识别之外。
translated by 谷歌翻译
在各种科学和临床环境中,快速无创探测空间变化的非相关事件(例如人类头骨下方的脑血流)是一项必不可少的任务。所使用的主要光学技术之一是弥漫性相关光谱(DC),其经典实现使用单个或几个单光子检测器,导致空间定位精度较差,时间分辨率相对较低。 Here, we propose a technique termed Classifying Rapid decorrelation Events via Parallelized single photon dEtection (CREPE)}, a new form of DCS that can probe and classify different decorrelating movements hidden underneath turbid volume with high sensitivity using parallelized speckle detection from a $32\times32 $像素SPAD阵列。我们通过对隐藏在5mm组织样的幻影下的不同时空 - 偏置模式进行分类来评估我们的设置,该模式由快速反相关的动态散射介质制成。十二个多模式纤维用于从组织幻影表面的不同位置收集散射光。为了验证我们的设置,我们通过在Multi-Kilo-Hertz速率下调制的数字微龙器设备(DMD)以及含有流动流体的容器幻影。除了具有胜过经典无监督学习方法的深层对比学习算法外,我们证明我们的方法可以准确地检测和分类浊度散射介质下的不同瞬态去相关事件(发生在0.1-0.4s中),而无需任何数据标记。这有可能应用于非侵入性的深层组织运动模式,例如在紧凑和静态检测探针内以多赫兹速率识别正常或异常的脑血流事件。
translated by 谷歌翻译
在组织表征和癌症诊断中,多式联运成像已成为一种强大的技术。由于计算进步,可以利用大型数据集来改善病理中的诊断和发现模式。但是,这需要高效且可扩展的图像检索方法。跨型号图像检索特别要求,因为在不同方式捕获的相同内容的图像可以显示很少的常见信息。我们提出了一种基于内容的图像检索系统(CBIR),用于反向(子)图像搜索,以给定个模态中的显微镜图像给出给定由不同的模态捕获的相应图像,其中图像不对齐并且仅共享少量结构。我们建议将深度学习结合生成嵌入共同空间中的模型的陈述,具有经典,快速,强大的特征提取器(Sift,Surf),以创建一个用于有效可靠的检索的文字模型。我们独立的自主方法显示了有希望的明菲尔德和二次谐波产生显微镜图像的公共数据集。我们获得75.4%和83.6%的前10名检索成功,以便在一个或另一个方向中检索。我们所提出的方法显着优于原始多模式(子)图像的直接检索,以及它们对相应的生成对抗网络(GaN)的图像到图像转换。我们确定所提出的方法与最近的子图像检索工具包,GAN的图像到图像翻译和用于跨模型图像检索的下游任务的学习特征提取器更好。我们突出了后一种方法的缺点,并遵守CBIR管道中学习陈述和特征提取器的体征和不变性属性的重要性。代码将在github.com/mida-group上获得。
translated by 谷歌翻译
我们在并行计算机架构上的图像的自适应粒子表示(APR)上的离散卷积运算符的本机实现数据结构和算法。 APR是一个内容 - 自适应图像表示,其本地地将采样分辨率局部调整到图像信号。已经开发为大,稀疏图像的像素表示的替代方案,因为它们通常在荧光显微镜中发生。已经显示出降低存储,可视化和处理此类图像的存储器和运行时成本。然而,这要求图像处理本身在APRS上运行,而无需中间恢复为像素。然而,设计高效和可扩展的APR-Native图像处理原语是APR的不规则内存结构的复杂性。这里,我们提供了使用可以在离散卷积方面配制的各种算法有效和本地地处理APR图像所需的算法建筑块。我们表明APR卷积自然地导致缩放 - 自适应算法,可在多核CPU和GPU架构上有效地平行化。与基于像素的算法和概念性数据的卷积相比,我们量化了加速度。我们在单个NVIDIA GeForce RTX 2080 Gaming GPU上实现了最多1 TB / s的像素等效吞吐量,而不是基于像素的实现的存储器最多两个数量级。
translated by 谷歌翻译